摘要:Transformer 可以利用自注意机制进行全局(长距离)信息建模,近期在自然语言处理和二维图像分类中取得了成功。然而,局部和全局特征对于密集预测任务都至关重要,尤其是对于 3D 医学图像分割。在本文中,我们首次将 Transformer 用于 3D CNN 中的 MRI 脑肿瘤分割,并提出了一种基于编码器-解码器结构的新型网络 TransBTS。为了捕获局部 3D 上下文信息,编码器首先利用 3D CNN 提取体积空间特征图。同时,对特征图进行精心重组以形成输入 Transformer 进行全局特征建模的标记。解码器利用 Transformer 嵌入的特征并执行渐进式上采样来预测详细的分割图。在 BraTS 2019 和 2020 数据集上进行的大量实验结果表明,TransBTS 在 3D MRI 扫描的脑肿瘤分割方面取得了与之前最先进的 3D 方法相当或更高的结果。源代码可在 https://github.com/Wenxuan-1119/TransBTS 获得。
主要关键词
![arXiv:2103.04430v2 [cs.CV] 2021 年 6 月 26 日PDF文件第1页](/bimg/8/82983478dff8f23320db01d741dfe7e2ae17aa9f.webp)
![arXiv:2103.04430v2 [cs.CV] 2021 年 6 月 26 日PDF文件第2页](/bimg/0/028db8f045d3213a44a172e78f312f6016290abc.webp)
![arXiv:2103.04430v2 [cs.CV] 2021 年 6 月 26 日PDF文件第3页](/bimg/b/b9b26ad4ba9ab05265225e039e9e095d871faf13.webp)
![arXiv:2103.04430v2 [cs.CV] 2021 年 6 月 26 日PDF文件第4页](/bimg/2/2831dbfeac484f2061c7c2edb405fbbf6f551c3a.webp)
![arXiv:2103.04430v2 [cs.CV] 2021 年 6 月 26 日PDF文件第5页](/bimg/c/c9ff0aadd9f1270f096ef2a78e066fa40af301d6.webp)
